Leong Chee Woh dilahirkan pada 11 November tahun 1929 di Taiping, Perak. Dia dijadikan sebagai seorang anak angkat untuk sebuah keluarga Cina berketurunan Baba-Nyonya. Beliau bersekolah di Sekolah King Edward VII. Namun persekolahannya tergendala seketika akibat pendudukan Jepun di Tanah Melayu .

Selepas pihak Jepun menyerah kalah di Tanah Melayu, beliau menduduki Peperiksaan Senior Cambridge yang juga dikenali sebagai Overseas Schooling Certificate Examination pada tahun 1949.

Sebelum menyertai pasukan polis, Leong pada mulanya telah bekerja sebagai kerani di Majlis Perbandaran Taiping selepas pendudukan Jepun. Selepas itum beliau berkhidmat sebagai ketua kerani di Ibu Pejabat Polis Daerah Selama.